Beliau dilahirkan pada 16 September 1918 di Pelabuhan Klang, Selangor dan merupakan anak sulung dalam keluarganya yang mempunyai 5 orang anak dan merupakan abang sulung kepada beberapa tokoh terkenal seperti Tan Sri Mohamed Hashim bin Mohd Ali (bekas Panglima Angkatan Tentera); Tan Sri Ahmad Razali Mohd Ali (bekas Menteri Besar Selangor); Datuk Jaafar Mohd. Ali, seorang usahawan; Tun Dr. Siti Hasmah Mohamad Ali dan Tan Sri Dr. Saleha Mohd Ali. Adik iparnya ialah Tun Dr. Mahathir Mohamad, Perdana Menteri Malaysia dari 1981 hingga 2003 dan untuk kedua kali dari 2018 hingga 2020.

Isterinya Toh Puan Maimunah Abdul Latiff meninggal dunia pada tahun 1996. Beliau meninggalkan dua anak lelaki, Iskandar, seorang ahli bank dagang dan Ahmad Kamal, seorang arkitek.